AI Papers Daily

#VLM Agents

2 篇

ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills

ViSkill：用演化视觉原生技能强化 VLM 智能体

🧭 Agent 强化学习 · 视觉技能库

Zhejiang University

提出 ViSkill，将成功轨迹编码为视觉原生技能卡，检索引导推理与奖励塑造，形成技能库与策略优化闭环

📌 工作参考价值（4 点）

• 视觉原生技能表示：在电商导购/UI 自动化 Agent 中，截图、布局标注等视觉信息不要全部文本化；把成功交互的关键帧保存为“视觉技能卡”，检索后直接作为多模态上下文，减少空间关系丢失，提高策略泛化。
• 技能库与策略优化闭环：将成功轨迹蒸馏回技能库，并让检索技能同时用于推理和奖励塑形，使技能积累与策略改进互相强化；业务 Agent 可用类似机制积累成功会话片段，提升样本效率。
• 冷启动机制：用少量高质量演示初始化技能库，加速早期 RL 训练；新业务或新场景上线时，可从历史专家轨迹构建种子技能库，减少冷启动成本。
• 奖励塑形技巧：引入检索技能相似度作为辅助奖励，有助于稳定训练，但需监控技能库陈旧度避免误导策略。

Agent | 2026-10-08 | cs.CL | score 7/10

VLM AgentsReinforcement LearningSkill LibraryVisual-NativePPOSample Efficiency

In-Context Robot Learning with VLM Agents

基于VLM Agent的上下文机器人学习

🧭 VLM Agent 机器人上下文学习

Morphi Robot · Shanghai Innovation Institute · Huazhong University of Science and Technology · Fudan University · Hunan University

GPT-Policy将VLM agent用于机器人上下文学习，通过context compiler与constrained controller把演示和反馈转为可执行动作，无需梯度更新

📌 工作参考价值（3 点）

• 借鉴 context compiler：不要把所有用户行为或物料序列塞进 prompt，而是抽取任务相关 transition（如 query→click→cart、曝光→点击→转化）压缩成示范对，降低 token 成本、减少噪声，提升 LLM agent 动作提案质量。
• 在 LLM 生成推荐动作或查询改写后，增加一层 constrained controller/verifier：先做业务规则校验（类目、库存、价格、合规）再执行，并把执行结果回写上下文，形成闭环自纠错，适合电商 Agent 可靠上线。
• 弱监督示范可用：仅用无动作标签的人类行为序列（点击/加购/购买）作为 in-context 示例即可提升任务完成度；在标注数据不足时，可先大量使用无显式 label 的序列构造上下文，再用少量对齐动作对（如 query-rewrite pair、next-item ID）提升高敏任务效果。

Agent | 2026-09-15 | HF Daily | score 7/10

VLM AgentsIn-Context LearningRobot LearningEmbodied AIContext CompilerConstrained Controller